IT > TECH > AI > NLP 딥 러닝을 이용한 자연어처리 입문3. 카운트 기반 단어표현(1) 1. 단어 표현 방법 (1) 국소표현(local representation) : 단어 자체만 보고 표현 = 이산(discrete) count-based (Bag of words)(DTM) (2) 각 인덱스의 위치에 단어 토큰의 등장 횟수를 기록한 벡터를 생성 BoW는 주로 특정 단어 빈도수로 어떤 성격의 문서인지 판단하는데 주로 사용된다. 불용어 제거 BoW example 3. DTM = 문... IT > TECH > AIIT > TECH > AI > NLPIT > TECHITIT
딥 러닝을 이용한 자연어처리 입문3. 카운트 기반 단어표현(1) 1. 단어 표현 방법 (1) 국소표현(local representation) : 단어 자체만 보고 표현 = 이산(discrete) count-based (Bag of words)(DTM) (2) 각 인덱스의 위치에 단어 토큰의 등장 횟수를 기록한 벡터를 생성 BoW는 주로 특정 단어 빈도수로 어떤 성격의 문서인지 판단하는데 주로 사용된다. 불용어 제거 BoW example 3. DTM = 문... IT > TECH > AIIT > TECH > AI > NLPIT > TECHITIT